home *** CD-ROM | disk | FTP | other *** search
/ CD ROM Paradise Collection 4 / CD ROM Paradise Collection 4 1995 Nov.iso / science / neumap3.zip / NUMP.ZP / FAQM.HLP < prev    next >
Text File  |  1993-01-07  |  11KB  |  248 lines
  1. This document is divided into two part as follows.
  2.  
  3. 1. Questions About This Package
  4. 2. Questions About The Theory Behind This Package
  5.  
  6.  
  7.  
  8. 1. Questions About This Package
  9.  
  10. Q;  What capabilities does this software package have that 
  11.     differentiate it from those developed elsewhere ?      
  12. A;  This package 
  13.  (1) Includes a network structure estimation program, that allows 
  14.      one to estimate how many hidden units an MLP must have to achieve 
  15.      a user-chosen performance. This program usually, but not always, works.
  16.  (2) Includes a fast training program unlike others that are available. 
  17.      This technique is about 3 times faster than full-blown (without 
  18.      heuristic changes for speeding it up) conjugate gradient training, 
  19.      and performs slightly better. Training is 10 to 100 times faster 
  20.      than backpropagation. 
  21.  (3) Includes a network structure analysis program. Given a trained 
  22.      MLP, this program makes a table of network performance versus 
  23.      the number of hidden units. Using the table, and the non-demo 
  24.      version of this program, the user can choose the size wanted 
  25.      and prune the network, saving new weight and network structure files.
  26.      The non-demo version can also determine the amount of nonlinearity 
  27.      (degree) in each hidden layer, thereby informing the user if a 
  28.      linear network would solve his problem.
  29.      
  30. Q;  Why does this package design only classification networks and not 
  31.     mapping or estimation networks ? Don't both types of network use 
  32.     the same format for training data and the same training algorithms ?
  33.     
  34. A;  We have separate packages for classification and mapping or 
  35.     estimation because;    
  36.  (1) Our training algorithms for classification and mapping networks have 
  37.      some important differences. For example, the functional link net 
  38.      design for a mapping net is not iterative, whereas that for 
  39.      classification nets is iterative. The MLP classification network 
  40.      learns even when the learning factor is set to 0., unlike the MLP 
  41.      for mapping.  
  42.  (2) Combining the two packages would make the result unnecessarily large.
  43.  (3) Many people need to do mapping or classification but not both.
  44.  
  45. Q;  What error function is being minimized during backpropagation training,
  46.     fast training, and functional link net training ?
  47.  
  48.                    Nout      
  49. A;  MSE = (1/Npat) SUM MSE(k)     where
  50.                    k=1  
  51.  
  52.               Npat              2
  53.     MSE(k) =  SUM [ Tpk - Opk ]
  54.               p=1  
  55.  
  56.     where Npat is the number of training patterns, Nout is the number 
  57.     of network output nodes, Tpk is the desired output for the pth
  58.     training pattern and the kth output, and Opk is the actual output
  59.     for the pth training pattern and the kth output. MSE is printed
  60.     for each iteration.
  61.  
  62. Q;  What are "RMS error", "Relative RMS Error" , and "Error Variances"?
  63.     The rms error of the kth output, RMS(k), is SQRT( MSE(k)/Npat ),
  64.     where SQRT means square root. The kth output's Relative RMS Error is
  65.  
  66.     R(k) = SQRT( MSE(k)/E(k) ) where
  67.  
  68.             Npat           2
  69.     E(k) =  SUM [ Opk-Mk ]      and
  70.             p=1  
  71.  
  72.                   Npat 
  73.     Mk = (1/Npat) SUM  Opk 
  74.                   p=1  
  75.  
  76.     The kth output's Error Variance is MSE(k)/Npat.
  77.  
  78.  
  79. Q;  I get an "Out of environment space when deleting a file in the
  80.     utilities section. How can I fix this ?
  81. A;  Increase the environment space. Add the switch /e:512 or /e:1024 
  82.     to the shell command in your config.sys file.
  83.  
  84. Q:  The package seems very sluggish when I use a serial mouse. How can
  85.     I fix this ?
  86. A;  The package should run much faster if you disable the mouse. You can 
  87.     comment out the mouse command in your autoexec.bat file. Also, a 
  88.     bus type mouse may work ok. We are still investigating the serial
  89.     mouse problem.
  90.  
  91.  
  92. 2. Questions About The Theory Behind This Package
  93.    
  94. Q;  Do you have any papers related to the prediction of neural net
  95.     size (Sizing) ?
  96. A;  Classified.
  97.  
  98.     
  99. Q;  Do you have any papers related to fast training of MLPs, and
  100.     related topics?
  101. A;  Yes. 
  102.     
  103.     M.S. Dawson, A.K. Fung, M.T. Manry, "Sea Ice Classification Using
  104.     Fast Learning Neural Networks," Proc. of IGARSS'92, Houston, Texas,
  105.     May 1992, vol. II, pp 1070-1071.
  106.     
  107.     M.S. Dawson, J. Olvera, A.K. Fung, M.T. Manry, "Inversion of
  108.     Surface Parameters Using Fast Learning Neural Networks," Proc. of
  109.     IGARSS'92, Houston, Texas, May 1992, vol. II, pp 910-912.
  110.     
  111.     M.T. Manry, X. Guan, S.J. Apollo, L.S. Allen, W.D. Lyle, and W.
  112.     Gong, "Output Weight Optimization for the Multi-Layer Perceptron,"
  113.     Conference Record of the Twenty-Sixth Annual Asilomar Conference on
  114.     Signals, Systems, and Computers, Oct. 1992, vol 1, pp. 502-506.
  115.     
  116.     X. Jiang, Mu-Song Chen, and M.T. Manry, "Compact Polynomial
  117.     Modeling of the Multi-Layer Perceptron," Conference Record of the
  118.     Twenty-Sixth Annual Asilomar Conference on Signals, Systems, and
  119.     Computers, Oct. 1992, vol 2, pp.791-795.
  120.     
  121.     R.R. Bailey, E.J. Pettit, R.T. Borochoff, M.T. Manry, and X. Jiang,
  122.     "Automatic Recognition of USGS Land Use/Cover Categories Using
  123.     Statistical and Neural Network Classifiers," Proceedings of SPIE
  124.     OE/Aerospace and Remote Sensing, April 12-16, 1993, Orlando
  125.     Florida.
  126.     
  127.     M.S. Dawson, A.K. Fung, M.T. Manry, "Classification of SSM/I Polar
  128.     Sea Ice Data Using Neural Networks," Proc. of PIERS 93, 1993, p.
  129.     572.
  130.     
  131.     F. Amar, M.S. Dawson, A.K. Fung, M.T. Manry, "Analysis of
  132.     Scattering and Inversion From Forest," Proc. of PIERS 93, 1993, p.
  133.     162.
  134.     
  135.     A. Gopalakrishnan, X. Jiang, M-S Chen, and M.T. Manry,
  136.     "Constructive Proof of Efficient Pattern storage in the Multilayer
  137.     Perceptron,"  Conference Record of the Twenty-Seventh Annual
  138.     Asilomar Conference on Signals, Systems, and Computers, Nov. 1993.
  139.     
  140.     K. Rohani, M.S. Chen and M.T. Manry, "Neural Subnet Design by
  141.     Direct Polynomial Mapping," IEEE Transactions on Neural Networks,
  142.     Vol. 3, no. 6, pp. 1024-1026, November 1992. 
  143.     
  144.     M.S. Dawson, A.K. Fung, and M.T. Manry, "Surface Parameter
  145.     Retrieval Using Fast Learning Neural Networks," Remote Sensing
  146.     Reviews, Vol. 7, pp. 1-18, 1993.
  147.  
  148.     M.T. Manry, S.J. Apollo, L.S. Allen, W.D. Lyle, W. Gong, M.S.
  149.     Dawson, and A.K. Fung, "Fast Training of Neural Networks for Remote
  150.     Sensing," Remote Sensing Reviews, July 1994, vol. 9, pp. 77-96, 1994.
  151.  
  152. Q;  Do you have any papers related to the analysis of trained neural
  153.     networks ?
  154. A;  Yes. 
  155.     
  156.     W. Gong and M.T. Manry, "Analysis of Non-Gaussian Data Using a
  157.     Neural Network," Proceedings of IJCNN 89, vol. II, p. II-576,
  158.     Washington D.C., June 1989.
  159.     
  160.     M.S. Chen and M.T. Manry, "Back-Propagation Representation Theorem
  161.     Using Power Series," Proceedings of IJCNN 90, San Diego, I-643 to
  162.     I-648.
  163.     
  164.     M.S. Chen and M.T. Manry, "Basis Vector Analyses of Back-
  165.     Propagation Neural Networks," Proceedings of the 34th Midwest
  166.     Symposium on Circuits and Systems, Monterey, California, May 14-17
  167.     1991, vol. 1, pp 23-26. 
  168.     
  169.     M.S. Chen and M.T. Manry, "Power Series Analyses of Back-
  170.     Propagation Neural Networks," Proc. of IJCNN 91, Seattle WA., pp.
  171.     I-295 to I-300.
  172.     
  173.     M.S. Chen and M.T. Manry, "Nonlinear Modelling of Back- Propagation
  174.     Neural Networks," Proc. of IJCNN 91, Seattle WA., p. A-899.
  175.     
  176.     M.S. Chen and M.T. Manry, "Basis Vector Representation of Multi-
  177.     Layer Perceptron Neural Networks," submitted to IEEE Transactions
  178.     on Neural Networks.
  179.     
  180.     W. Gong, H.C. Yau, and M.T. Manry, "Non-Gaussian Feature Analyses
  181.     Using a Neural Network," accepted by Progress in Neural Networks,
  182.     vol. 2, 1991.
  183.     
  184.     X. Jiang, Mu-Song Chen, M.T. Manry, M.S. Dawson, A.K. Fung,
  185.     "Analysis and Optimization of Neural Networks for Remote Sensing,"
  186.     Remote Sensing Reviews, July 1994, vol. 9, pp. 97-114, 1994.
  187.  
  188.     M.S. Chen and M.T. Manry, "Conventional Modelling of the Multi-
  189.     Layer Perceptron Using Polynomial Basis Functions," IEEE
  190.     Transactions on Neural Networks, Vol. 4, no. 1, pp. 164-166,
  191.     January 1993. 
  192.     
  193.     K. Rohani and M.T. Manry, "Multi-Layer Neural Network Design Based
  194.     on a Modular Concept," accepted by the Journal of Artificial Neural
  195.     Networks.
  196.     
  197. Q;  Do you have any papers related to the prediction of neural net 
  198.     performance, and pre-processing of data ?
  199. A;  Yes. 
  200.     
  201.     S.J. Apollo, M.T. Manry, L.S. Allen, and W.D. Lyle, "Optimality of
  202.     Transforms for Parameter Estimation,"  Conference Record of the
  203.     Twenty-Sixth Annual Asilomar Conference on Signals, Systems, and
  204.     Computers, Oct. 1992, vol. 1, pp. 294-298.
  205.     
  206.     Q. Yu, S.J. Apollo, and M.T. Manry, "MAP Estimation and the
  207.     Multilayer Perceptron," Proceedings of the 1993 IEEE Workshop on
  208.     Neural Networks for Signal Processing, Linthicum Heights, Maryland,
  209.     Sept. 6-9, 1993, pp. 30-39.
  210.     
  211.     S.J. Apollo,  M.T. Manry, L.S. Allen, and W.D. Lyle, "Theory of
  212.     Neural Network-Based Parameter Estimation," submitted to Neural
  213.     Network Trans. of the IEEE. 
  214.     
  215.     S.J. Apollo,  M.T. Manry, L.S. Allen, and W.D. Lyle,
  216.     "Transformation-Based Data Compression for Parameter Estimation,"
  217.     submitted to IEEE Trans. on Signal Processing. 
  218.     
  219.     
  220.     
  221. Q;  Do you have any papers related to the training of functional link
  222.     neural networks ?
  223. A;  Yes. 
  224.         
  225.     H.C. Yau and M.T. Manry, "Sigma-Pi Implementation of a Nearest
  226.     Neighbor Classifier," Proceedings of IJCNN 90, San Diego, I-667 to
  227.     I-672.
  228.     
  229.     H.C. Yau and M.T. Manry, "Sigma-Pi Implementation of a Gaussian
  230.     Classifier," Proceedings of IJCNN 90, San Diego, III-825 to
  231.     III-830.
  232.     
  233.     H.C. Yau and M.T. Manry, "Shape Recognition Using Sigma-Pi Neural
  234.     Networks," Proc. of IJCNN 91, Seattle WA., p. II A-934.
  235.     
  236.     H.C. Yau and M.T. Manry, "Shape Recognition with Nearest Neighbor
  237.     Isomorphic Network," Proceedings of the First IEEE-SP Workshop on
  238.     Neural Networks for Signal Processing, Princeton, New Jersey, Sept.
  239.     29 - Oct. 2, 1991, pp. 246-255.
  240.     
  241.     H.C. Yau and M.T. Manry, "Iterative Improvement of a Gaussian
  242.     Classifier," Neural Networks, Vol. 3, pp. 437-443, July 1990.
  243.     
  244.     H.C. Yau and M.T. Manry, "Iterative Improvement of a Nearest
  245.     Neighbor Classifier," Neural Networks, Vol. 4, Number 4, pp.
  246.     517-524, 1991.
  247.     
  248.